Daedalus-150M: A Convolution-Attention Hybrid Designed for CPU Inference
Daedalus-150M：专为 CPU 推理设计的卷积-注意力混合模型
🧭 高效小型 LLM 架构 · 卷积-注意力混合
用 12 个短卷积层替代多数注意力层，在 CPU 长文本解码时实现 1.76 倍加速且质量不降
📌 工作参考价值（4 点）
- 对于需要在 CPU 或端侧低延迟推理的轻量级模型（如端侧 query 建议、实时 push 文案生成、边缘排序模型），可以尝试用短卷积替代大部分注意力层，减少 KV cache 读取；在长上下文时加速显著，适合长 prompt 或长序列用户行为建模。
- 目标驱动的架构设计：先固定部署环境（单用户、4-bit、普通 CPU），再反向选择模型结构，比“先设计大模型再压缩”更高效；推荐系统在边缘部署小模型时可复用这一思路。
- 在模型选型时采用预先注册对照实验：固定训练数据和模型尺寸，比较不同架构，并事前确定胜利指标，避免事后挑选；业务团队做架构升级时值得借鉴。
- 注意其报告的负面结果：4-bit 量化有不可忽视的质量损失，部分卷积通道实为冗余且难以修剪，词汇表不宜大于模型规模所需；这些小模型工程细节可直接避免踩坑。